Fine-tuning vs Few-shot learning

ในเรื่อง LLM เพื่อให้โมเดลสามารถทำงานที่เราต้องการได้ เรามักจะต้องทำการ "สอน" มันก่อน ซึ่งมี 2 วิธีหลัก ๆ คือการ Fine-tunning LLM และ Few-shot learning โดย

• Fine-tunning
  • เป็นการนำ dataset ใหม่มาให้โมเดลเรียนรู้
  • มีการอัปเดต weight จำนวนมากสำหรับโมเดล Neuron Network
  • ใช้เวลาและทรัพยากรมาก และต้องใช้ข้อมูลเยอะ
• Few-shot learning
  • ให้ตัวอย่างหรืออัปเดต weight ไม่เยอะหรือเพียง layer บนเท่านั้น
  • ไม่จำเป็นต้องใช้ข้อมูลเยอะเท่า Fine-tunning
  • ประหยัดเวลาและทรัพยากร
  • ความถูกต้องขึ้นอยู่กับโมเดล

อ้างอิง

• What are the differences between fine tuning and few shot learning?